Resource Manager এবং Node Manager এর কাজ গাইড ও নোট

Hadoop সিস্টেমে ডিস্ট্রিবিউটেড ডেটা প্রসেসিং এবং স্টোরেজের কার্যক্রম কার্যকরভাবে পরিচালনা করতে YARN (Yet Another Resource Negotiator) একটি গুরুত্বপূর্ণ ভূমিকা পালন করে। YARN সিস্টেমের মধ্যে Resource Manager এবং Node Manager দুটি প্রধান উপাদান। এগুলি Hadoop ক্লাস্টারের রিসোর্স ব্যবস্থাপনা এবং কাজ শিডিউলিংয়ে গুরুত্বপূর্ণ কাজ করে। YARN এর মাধ্যমে, Hadoop বিভিন্ন নোডে ডেটা প্রসেসিংয়ের কাজ ভাগ করে এবং রিসোর্স নির্ধারণের মাধ্যমে দ্রুত ফলাফল পাওয়ার উপযোগী হয়ে ওঠে।

Resource Manager এর কাজ

Resource Manager (RM) Hadoop ক্লাস্টারের রিসোর্স ম্যানেজমেন্টের জন্য প্রধান উপাদান। এটি YARN এর একটি অংশ এবং ক্লাস্টারের সম্পূর্ণ রিসোর্স ব্যবস্থাপনা করে। Resource Manager মূলত দুটি অংশে ভাগ করা হয়: Scheduler এবং ApplicationManager।

Resource Manager এর কাজ:

• রিসোর্স শিডিউলিং (Resource Scheduling):
  Resource Manager সমস্ত ক্লাস্টারে রিসোর্স শিডিউল করে। এটি টাস্ক বা অ্যাপ্লিকেশন গুলি কোন নোডে চালানো হবে তা নির্ধারণ করে এবং সেগুলির জন্য প্রয়োজনীয় রিসোর্স বরাদ্দ করে।
• রিসোর্স বরাদ্দ (Resource Allocation):
  যখন একটি টাস্ক YARN এর কাছে আসে, Resource Manager নির্ধারণ করে কত রিসোর্স প্রয়োজন এবং সেগুলি কোথায় বরাদ্দ করা হবে। এটি সার্ভারের মেমরি, সিপিইউ, এবং অন্যান্য প্রয়োজনীয় রিসোর্সগুলোকে বিভিন্ন নোডে ভাগ করে দেয়।
• টাস্কের তত্ত্বাবধান (Task Supervision):
  Resource Manager কাজের অগ্রগতি মনিটর করে এবং নিশ্চিত করে যে নির্ধারিত কাজগুলি সঠিকভাবে সম্পাদিত হচ্ছে। এটি রিসোর্সের ব্যবহার এবং নির্ধারিত কাজের জন্য উপযুক্ত নোড নির্বাচন নিশ্চিত করে।
• Fault Tolerance:
  যদি কোনো নোড ব্যর্থ হয় বা রিসোর্সের কোনো সমস্যা হয়, Resource Manager ওই নোডের পরিবর্তে অন্য কোনো নোডে কাজ স্থানান্তর করে। ফলে সিস্টেমের অখণ্ডতা বজায় থাকে এবং কোনো টাস্ক থেমে থাকে না।

Node Manager এর কাজ

Node Manager (NM) হল Hadoop YARN সিস্টেমের গুরুত্বপূর্ণ উপাদান, যা প্রতিটি স্লেভ নোডে চলে এবং রিসোর্স ব্যবস্থাপনা ও কাজের বাস্তবায়ন পরিচালনা করে। এটি Resource Manager এর সাথে সংযুক্ত থাকে এবং ক্লাস্টারের প্রতিটি নোডের রিসোর্স ও কাজের অবস্থা তদারকি করে।

Node Manager এর কাজ:

• রিসোর্স ব্যবস্থাপনা (Resource Management):
  Node Manager স্থানীয়ভাবে রিসোর্স পরিচালনা করে। এটি CPU, মেমরি, ডিস্ক স্পেস ইত্যাদির ব্যবস্থাপনা করে, যাতে সঠিকভাবে কাজ পরিচালিত হয়।
• কাজের বাস্তবায়ন (Job Execution):
  Node Manager অ্যাপ্লিকেশন বা টাস্কের কাজ বাস্তবায়ন করে। এটি ApplicationMaster (AM) থেকে প্রাপ্ত নির্দেশনা অনুযায়ী কাজগুলো সঞ্চালন করে। Node Manager নিজে থেকে কোনো কাজ শিডিউল বা নিয়ন্ত্রণ করে না, বরং Resource Manager বা ApplicationMaster এর নির্দেশ অনুসরণ করে।
• নোড মনিটরিং (Node Monitoring):
  Node Manager প্রতিটি নোডের স্বাস্থ্য এবং কর্মক্ষমতা নিয়মিতভাবে পর্যবেক্ষণ করে। এটি সিস্টেমের জন্য রিসোর্সের ব্যবহার, লোড এবং অন্যান্য মেট্রিকস সংগ্রহ করে এবং Resource Manager কে প্রতিবেদন পাঠায়।
• Fault Reporting:
  Node Manager যেকোনো ধরণের সমস্যার ক্ষেত্রে Resource Manager কে রিপোর্ট করে, যেমন কোনো নোডের সমস্যা বা কোনো কাজ না চললে তা জানিয়ে দেয়। এটি ক্লাস্টারের স্থিতিশীলতা বজায় রাখতে সহায়ক।
• Logs Management:
  Node Manager কাজের লগ ফাইল তৈরি এবং সংরক্ষণ করে। এটি Hadoop ক্লাস্টারে কার্যক্রমের জন্য বিশ্লেষণ এবং ত্রুটি শনাক্তকরণের জন্য সহায়ক।

সারাংশ

Resource Manager এবং Node Manager উভয়ই YARN এর গুরুত্বপূর্ণ অংশ, এবং Hadoop ক্লাস্টারের রিসোর্স ব্যবস্থাপনা এবং কাজ শিডিউলিংয়ের জন্য অপরিহার্য। Resource Manager ক্লাস্টারের সমস্ত রিসোর্স পরিচালনা এবং শিডিউলিংয়ের কাজ করে, যখন Node Manager প্রতিটি নোডে রিসোর্স ব্যবস্থাপনা এবং কাজের বাস্তবায়ন করে। এই সমন্বয় Hadoop সিস্টেমকে উচ্চ ক্ষমতাসম্পন্ন, স্কেলেবল এবং ফল্ট টলারেন্ট ক্লাস্টার হিসেবে তৈরি করে, যা বড় পরিমাণ ডেটা প্রসেসিং এবং বিশ্লেষণে সহায়ক।